Fix suspend/resume for domains with devices which are in xenstore but have no xenbus aware driver.
Information about network devices is stored in xenstore.  Xenbus creates
device objects for these devices but the network driver doesn't support
finding devices over xenbus yet and thus these devices have no driver.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Add very rough xend support for xenbus block device setup.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix driver to work with updated probe driver.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Switch block device setup/teardown over to xenbus/xenstore.
Remove device probing support over the device channel.
g/c all the control message code.
Simplify and cleanup internal function calling code (explicit arguments
instead of passing structs around).
Also includes:
Changed "readonly" to "read-only". "backend" is still not hyphenated, but
that seems to be fairly common usage.
Block backends use xenbus_dev_error, making debugging nicer.
The block front end is told explicitly what domid to use to talk to the
backend. There's speculation that fake domid-like tokens may be given
for cluster purposes in future, so deriving from the backend dir name is
not guaranteed to work. Backends still derive front-end ids, using a
xenbus helper (xenbus_uuid_to_domid).
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

use "vbd" as driver name for blkfront devices, not "blkfront".
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add support for multiple devices when using grant tables.
Also better support non-transactional store updates.
Also remove some extra printks.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Switch block device setup/teardown over to xenbus/xenstore.
Remove device probing support over the device channel.
g/c all the control message code.
Simplify and cleanup internal function calling code (explicit arguments
instead of passing structs around).
Also includes:
Changed "readonly" to "read-only". "backend" is still not hyphenated, but
that seems to be fairly common usage.
Block backends use xenbus_dev_error, making debugging nicer.
The block front end is told explicitly what domid to use to talk to the
backend. There's speculation that fake domid-like tokens may be given
for cluster purposes in future, so deriving from the backend dir name is
not guaranteed to work. Backends still derive front-end ids, using a
xenbus helper (xenbus_uuid_to_domid).
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

The entire swiotlb aperture does not need to be contiguous.
Only individual aligned SEGSIZE blocks need to be contiguous.

Signed-off-by: Keir Fraser <keir@xensource.com>

By default, pre-reserve some memory in Xen that is not allocated
to domain 0 (1/16th available memory, up to 128MB maximum).
Also, extend dom0_mem boot parameter to accept negative values.
A negative value means "allocate all memory, minus the specified
amount".

Signed-off-by: Keir Fraser <keir@xensource.com>

Default unit for all Xen memory parameters is kilobytes.
Signed-off-by: Keir Fraser <keir@xensource.com>

The patch allows x86_64 SMP Xen/XenLinux (dom0) to run on relatively big
SMP machines.
I tested on an 8-way machine with 8GB. It looks stable as far as I did
sanity checks, such as an infinite loop of "make -j32"; it's very fast!.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

This patch:

* adds a C-based security policy translation tool to Xen (secpol_xml2bin)
and removes the current Java
security policy translator (Java dependencies).  The C-based tool
integrates into the Xen source tree build
and install (using gnome libxml2 for XML parsing). See install.txt.

* introduces security labels and related tools. Users can now use
semantic-rich label names to put security-tags
on domains. See example.txt, policy.txt.

* moves the security configuration (currently ACM_USE_SECURITY_POLICY)
from xen/Rules.mk
into a separate top-level Security.mk file  (it is needed by the
tools/security and xen/acm).

Both xen/acm and tools/security are built during the Xen build process
only if ACM_USE_SECURITY_POLICY
is not ACM_NULL_POLICY (which is the default setting).

Signed-off-by Reiner Sailer <sailer@us.ibm.com>
Signed-off by Stefan Berger <stefanb@us.ibm.com>
Signed-off by Ray Valdez <rvaldez@us.ibm.com>

This patch provides a workaround for bugzilla #90 which shows up far too
often when creating and then destroying lots of domUs and dom0 is SMP.
Details are in the [1]bug.  With this patch, I now can create/destroy
domains in a tight loop for hours where previously every 3 to 10 cycles
would blow up.

1. http://bugzilla.xensource.com/bugzilla/show_bug.cgi?id=90

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

Proleptic xend bug fix for multi-sxp messages; stricly more robust than before.

Signed-off-by: Steven Hand <steven@xensource.com>

Remove support for xenbus driver subtypes since with the subtype field there's no fallback.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add support to xenbus_gather to scan for strings and return them in allocated memory.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get rid of xenbus_uuid_to_domid - get the frontend id from the node.
We don't want to parse paths we read out of the store to _construct_
other paths and tie down the store layout for no good reason.
Also require the frontend path to exist and be valid before creating
the device.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Let dev_changed detect devices when a watch fires with a longer node name.
Also improve device cleanup when the dir for a while frontend domain
is removed.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Free memory returned from xenbus_directory call.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't free subtype field unconditionally.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get device when we find it - fixes refcount leak and is correct.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Create devices for the xenbus-bus's.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Rename bus names from xenbus* to xen*.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make probe less chatty.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Update probe code for backend layout.
Backend directories are of form backend/<type>/<frontend-uuid>/<id>.
This extra level makes an asymmetry with front ends (device/type/id) and
are too long to make nice bus-ids under Linux, but the code isn't too
horrible, and an OS which only wants to be a guest doesn't need to implement
it. It allows backends to calculate the front-end path directly, which
is a nice benefit.
Also: subtype matching is tightened: they must match exactly. That way a future
variant which requires a specific driver will not match current drivers.
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make sure to cmpxchg entire pte on emulated ptwr path.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix emulated writable pagetable updates where access is
less than a full pte and operation requires cmpxchg.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix direct_remap_area_pages() to handle pagetables
above 4GB.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix __get_user() and friends to work correctly for
64-bit quantities on x86/32. Should fix writable
pagetables on PAE.

Signed-off-by: Keir Fraser <keir@xensource.com>

Clean up bootmem initialisation for x86/64. Question still
remains over why boot fails if we try to free up the bottom
1MB of pseudophysical memory...

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix Xen patches to Linux so that they use pfn_pte() and
pfn_pte_ma() constructors, rather than splicing together
ptes manually. Not only is this cleaner, it also ensures
that the NX/XD bit is safely masked off on systems that do
not support it.

Signed-off-by: Keir Fraser <keir@xensource.com>

Tiny formatting tweak in addition to previous changeset.

Clean up formatting of Xen crash messages.
Signed-off-by: Keir Fraser <keir@xensource.com>

Add SK98LIN driver to default -xen0 Linux configs.
Signed-off-by: ian@xensource.com

Make antispoof default to 'no' in network-script as the default in xend is 'no'. Having them different only causes confusion.

Signed-off-by: ian@xensoure.com

fail nicely when passing unknown option to xm list

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix range_straddles_boundary() check to exclude regions that
were allocated with xen_create_contiguous_region(). Such areas
do not require bounce buffers (swiotlb).

Signed-off-by: Keir Fraser <keir@xensource.com>

Enable IP_PNP support in 64bit domU (needed for xm ip= etc.)

Signed-off-by: James Bulpin <james@xensource.com>

Fix the SWIOTLB to correctly match on bus addresses.
Signed-off-by: Keir Fraser <keir@xensource.com>

fail domU creation if memory need couldn't be succeed after ballooning out dom0

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Enable MATCH_PHYSDEV netfilter support as a module.
Signed-off-by: iab@xensource.com

Fix e820 array stack overflow
I don't see the problem on machine that I typically use, but I found and
fixed the problem on a big machine. It was causing a stack overflow. If
you look at the current code, it's a bit dangerous, see => part. This
patch fixes it.
From: "Nakajima, Jun" <jun.nakajima@intel.com>
Signed-off-by: ian@xensource.com

We found machines with >32 E820 memory map entries, where Xen fails to
boot (but Linux does boot fine). The native Linux (both x86 and x86_86)
already has:

#define E820MAX 128             /* number of entries in E820MAP */

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Fix vmalloc_fault() path for x86/64 XenLinux.
There may be a deeper underlying problem w.r.t pagetable
initialisation at start of day, but this simple fix is
a good workaround until we have time to investigate
properly.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix the skbuff allocator for multi-page buffers.
pci-dma.c still needs fixing to recognise contiguous
multi-page buffers.
Signed-off-by: Keir Fraser <keir@xensource.com>

Formatting cleanup.

have a useful line reporting when IOMMU_BUG_ON trigger

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

fix missing swiotlb.c file in linux build after running cleanup.

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix module build by removing duplicate EXPORT_SYMBOL of
dma_alloc_coherent and dma_free_coherent.

Allocate_empty_lowmem_regions available to non-priv domains
and to modules. From Ross Mcilroy.

merge

Another tweak to the network-bridge script.
Signed-off-by: ian@xensource.com

merge?

Restore domains with a different uuid than they had.
Needed for migration to localhost and migration between hosts with
a shared/distributed xenstore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Python build fix.

Recreate watches on domain restore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Clear "/control/shutdown" node on domain restore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

xenbus build and license fixes.

Add support for XENSTORED_TRACE to enable trace output from xenstored.
Set XENSTORED_TRACE in /usr/sbin/xenstored's environment to enable the
trace output.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix compile warning from zero-length printf format string.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Avoid spurious "Ignoring shutdown request" messages, fix memory leak and simplif
y code.
Also fix whitespace.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Yet another work-around in the network-bridge script
From: Zhai, Edwin [edwin.zhai@intel.com]
Signed-off-by: ian@xensource.com

Really randomise MAC addresses for multi-VIF guests.
Reseeding on every VIF doesn;t work as timeofday doesn't
change quickly enough.

Signed-off-by: Jim Dykman <dykman@us.ibm.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Add a couple of well chosen assertions to new context
switch code.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix context switching race which could cause vcpu_pause()
to not actually do its job properly. This requires us to
move clearing of VCPUF_running to be protected by the
scheduler lock.

Signed-off-by: Keir Fraser <keir@xensource.com>

Don't bail early if we detect that time goes backwards.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

cleanup whitespace.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Only introduce domain to the store when we have store channel _and_ mfn.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

In direct_remap_area_pages, reset w pointer for next loop after use.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix xtime_lock handling in timer interrupt. There's no need
to hold it while doing local VCPU work, and there might be
danger of deadlock if we do.

Signed-off-by: Keir Fraser <keir@xensource.com>

Use a SWIOTLB to use pre-reserved bounce buffers for high memory
and multi-page DMA accesses. This is based on a preliminary patch
from Suresh Siddha at Intel.

Signed-off-by: Keir Fraser <keir@xensource.com>
Signed-off-by: Suresh Siddha <suresh.b.siddha@intel.com>

Add grant table support to block tap.

This patch adds grant table support to the block tap.  The AIO support
introduced in patch 9f0eff879d8913a824280cf67658a530c80e8424 still
works -- The tap code maps a granted page twice, once in kernel and
once in user.  The kernel page is patched into the p2m table and pages
added to the user vm_area are mapped to the appropriate underlying
struct pages using the VM_FOREIGN hooks in get_user_pages().

Comparing block IO from dom0 to the existing block backend, and to the
tap managing the same partition as the BE from user space with AIO, I
get the following performance:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
xen0             2G 31198  95 56818   8 20967   2 28415  77 59595   4 264.9   0
xenU-blkbe2cpuGT 2G 31157  96 54026  10 25585   4 30664  90 64919   7 292.7   0
xenU-blktp2cpuGT 2G 32313  97 54217   8 20950   3 28117  87 65924   4 191.8   0

Signed-off-by: andrew.warfield@cl.cam.ac.uk

Disable xenconsoled throttling for now.

Under the right circumstances, xenconsoled will corrupt its internal
list of domains causing a SEGV.  This is usually characterized by a
rapid number of creations/destructions.  The attached patch fixes this.

1) Fix uninitialized next pointer.  This could sometimes cause xenconsoled to
   SEGV on an invalid domain pointer
2) Fix race condition in iterating domain list where removing a domain in a
   callback could lead to the iterators becoming invalid.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

merge

merge

Tweaks to network-bridge script.
Signed-off-by: ian@xensource.com

Enable multi-word DMA mode 2 for the PIIX3 chipset

Without this patch, Linux PIIX3 driver would see ultra DMA and get confused
and ended up disabling DMA.

With the patch, we're able to see 3x increase in disk read throughput.

Signed-off-by: Winston Wang <winston.l.wang@intel.com>
Signed-off-by: Arun Sharma <arun.sharma@intel.com>

Distinguish ioemu handled devices and para virtualized devices

Signed-off-by: Xiaofeng Ling <xiaofeng.ling@intel.com>
Signed-off-by: Arun Sharma <arun.sharma@intel.com>

Don't leave vncviewer processes running if xm create fails

Signed-off-by: Edwin Zhai <edwin.zhai@intel.com>
Signed-off-by: Arun Sharma <arun.sharma@intel.com>

PDB: watchpoints for process context

Enable magic sysrq in -xen x86_64 kernel
Signed-off-by: ian@xensource.com

Update x86_64 Linux kernels to add SMP to -xen and -xenU plus magic sysrq to all.

Signed-off-by: ian@xensource.com

Upgrade to Linux 2.6.12.5 patch

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

merge

Quieten down grant table code.
Signed-off-by: ian@xensource.com

Trivial fixes for a couple of xenlinux compile warnings.

Signed-off-by: <andrew.warfield@cl.cam.ac.uk>

Add generic_page_range() -- generic page table operation.

Linux has several instances of repeated code to do updates to a range
of PTEs.  Mapping memory between domains in Xen also tends to need to
do this quite frequently, to ensure page tables have been constructed
and to look up PTE addresses when making mapping-related hypercalls.
This patch adds a generic PTE walk-and-fill operation that takes a
function pointer to call on leaf entries.  direct_remap_area_pages()
is updated to use the new call, ass are abuses of
__direct_remap_area_pages.

This patch also introduces two new helper functions for working with
page tables when mapping memory between domains:
create_lookup_pte_addr() returns the machine address of a PTE,
allocating intermediate page tables as necessary.  touch_pte_range()
ensures that page tables exist for a virtual address range.

Many of the existing linux page table operations (e.g. zap/remap/etc)
could be modified to use this interface, which would potentially
shorten up mm/memory.c a bit.

Add a far more complete -xen config file for x86_64, based on FC3.
From: Chengyuan Li chengyuan.li@intel.com

NB: We should probably advertise the existence of the -xen configs. These are almost certainly what end-users should be using rather than -xen0 and -xenU, which are really for the convenience of developers.

Signed-off-by: ian@xensource.com

merge

Small change to remove difference between Xen and mainline deactivate_mm.
While there, cleanup prepare_arch_switch as well.  This generates
identical code.

Signed-off-by: Chris Wright <chrisw@osdl.org>

Add a few options to the Linux x86_64 domU config.
Signed-off-by: ian@xensource.com

Just a very simple patch that removes:

rch/xen/x86_64/mm/init.c: In function `xen_init_pt':
arch/xen/x86_64/mm/init.c:560: warning: unused variable `old_level4

rch/xen/x86_64/kernel/apic.c: In function `smp_local_timer_interrupt':
arch/xen/x86_64/kernel/apic.c:48: warning: unused variable `cpu'

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

The patch cleans up (ugly) setup.c that I wanted to fix for a long time
(but did not have time for that).

It should be compiled for the native x86_64 Linux as well (but not
tested yet, so I don't guarantee):
- no #if 0 or comment out
- use CONFIG_XEN for xen specific code
- preparation for merge to the upstream
- tested both dom0 (UP and SMP) and domU

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

The patch attached removes pda.h and asm_offset.c by deleting unused or
unnecessary variables (that were used for old codes).

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Fix special backptr values on x86/64 to avoid spurious
wrpt emulations.
Signed-off-by: Keir Fraser <keir@xensource.com>
Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>